期望 - 最大化（EM）算法是一种简单的元叠加，当观察到的数据中缺少测量值或数据由可观察到的数据组成时，它已多年来用作统计推断的方法。它的一般属性进行了充分的研究，而且还有无数方法将其应用于个人问题。在本文中，我们介绍了$ em $ $ and算法，EM算法的信息几何公式及其扩展和应用程序以及各种问题。具体而言，我们将看到，可以制定一个异常稳定推理算法，用于计算通道容量的算法，概率单纯性的参数估计方法，特定的多变量分析方法，例如概率模型中的主要组件分析和模态回归中的主成分分析，基质分解和学习生成模型，这些模型最近从几何学角度引起了深度学习的关注。

从任务到任务的顺序训练正在成为深度学习应用中的主要对象之一，例如持续学习和转移学习。尽管如此，在训练有素的模型的性能改善或恶化的情况下，它仍然不清楚。为了深化我们对顺序培训的理解，本研究在不断学习的可解下的案例中提供了对概括性表现的理论分析。我们考虑神经切线内核（NTK）制度中的神经网络，以便将目标功能从任务中持续学习到任务，并通过使用核心脊的统计机械分析来调查延伸的核心脊的回归。我们首先表现出从积极转移到负转移的特征过渡。高于特定临界值的更类似的目标可以实现随后的任务的积极知识转移，而灾难性的遗忘也会发生，即使具有非常相似的目标。接下来，我们调查持续学习的变体，其中模型在多个任务中学习相同的目标函数。即使对于同一目标，训练型模型也会显示一些转移和遗忘，具体取决于每个任务的样本大小。我们可以保证泛化误差从任务单调减少到相同的样本大小的任务，而不平衡样本大小会降低泛化。我们分别指的是自我知识转移和遗忘的这些改善和恶化，并经验证实它们的深神经网络的现实培训。

我们研究限制的Boltzmann机器（RBM）提取的特征当它在各种温度下旋转模型的自旋配置时训练。使用训练的RBM，我们获得了自旋配置的迭代重建（RBM流量）的流程，并在某些情况下发现流程接近阶段转换点$ T = T_C $ IN ISING模型。由于在重建配置中强调提取的特征，因此在这种固定点处的配置应该除了提取的特征之外。然后，我们研究了固定点对各种参数的依赖性，并猜测RBM流程的固定点处于相位过渡点的状态。我们还通过分析训练RBM的重量矩阵来提供猜想的支持证据。

The purpose of this study is to introduce new design-criteria for next-generation hyperparameter optimization software. The criteria we propose include (1) define-by-run API that allows users to construct the parameter search space dynamically, (2) efficient implementation of both searching and pruning strategies, and (3) easy-to-setup, versatile architecture that can be deployed for various purposes, ranging from scalable distributed computing to light-weight experiment conducted via interactive interface. In order to prove our point, we will introduce Optuna, an optimization software which is a culmination of our effort in the development of a next generation optimization software. As an optimization software designed with define-by-run principle, Optuna is particularly the first of its kind. We will present the design-techniques that became necessary in the development of the software that meets the above criteria, and demonstrate the power of our new design through experimental results and real world applications. Our software is available under the MIT license (https://github.com/pfnet/optuna/).